训练整个 Agent:策略与 Harness 联合进化
🧭 Agent 训练 · RL 联合优化工具/hooks
Zhejiang University · LIGHTSPEED · Independent Researcher
HarnessAdapt-RL 在强化学习中同时训练策略模型与工具/hooks,显著提升 coding agent 的 pass@1
📌 工作参考价值(4 点)
- 搜索/推荐 Agent 训练不应只更新 LLM 参数,可将工具描述、hooks、检索接口等视为可学习组件,在 RL 中与策略共同迭代;尤其适合电商 Agent 中 API 调用、query 改写、商品召回等工具链的联合优化。
- 借鉴其变更接受条件:每个工具/hook 变更只有在离线评估中提升 pass rate 或可训练率且不降低另一方才保留。业务上可对应“商详页点击率/转化率提升,同时训练样本有效率不下降”的门控机制。
- 任务特定的机制级技能可由 frozen teacher 生成,训练时注入引导,上线前移除,降低部署复杂度,同时保留策略泛化增益;适合将专家规则或人工 SOP 转化为训练期辅助信号。
- 对反复出现的交互问题(如失败重试、上下文截断、工具返回格式错误)可进化 tools/hooks 而非硬编码,并让策略学习与新 harness 协调,避免过早冻结早期版本的优化陷阱。
CoWorld Reasoner:以可进化视频世界模型工具链驱动智能体多模态推理
🧭 Agent 多模态推理 · VWM 工具进化
The Hong Kong Polytechnic University · Hangzhou Diagens Biotechnology Co., Ltd
Agentic 框架将视频世界模型作为统一视觉推理引擎,通过可进化 tool/skill 动态生成视觉证据,多基准相对提升 11.8%–13.0%
📌 工作参考价值(4 点)
- 在电商多模态商品理解中,可借鉴「视觉想象作为额外证据」范式:对只有单图/短视频的商品,用世界模型生成多角度、场景变化或使用过程片段,作为 VLM 推理补充输入,降低对完整 3D/视频采集的依赖。
- 采用「工具 + 技能」双层 harness 控制生成行为:把生成模型封装为多个视觉操作工具(如视角合成、时序补全),用结构化 skill 描述指导 LLM 决定是否/何时/如何生成,避免固定 pipeline 只做单一想象形式,适配标题生成、详情页卖点抽取等多任务。
- VLM-VWM Harness Co-Evolution 的思路可直接迁移到推荐 Agent 的 tool/prompt 迭代:记录执行失败/低质量输出,用反馈让 LLM 修订工具描述、技能文档和调用代码;模型权重冻结,可以低成本持续优化线上 Agent 的视觉工具链。
- 在搜索/推荐多模态评测中,该方法提示:对需要时空/因果推理的任务,单纯 VLM 直接推理不足,应加入生成型证据接入和 agentic 调用框架;业务中可先在商品视频问答、用户上传视频审核等任务上试点世界模型辅助取证。